เมื่อสงครามโลกครั้งที่สองเริ่มต้นขึ้น เขาถูกเรียกตัวกลับมารับราชการทหารอีกครั้งหนึ่ง เพื่อนำกองทัพกลุ่มใต้ระหว่างการรุกรานโปแลนด์ และในระหว่างการรบในฝรั่งเศส เขาได้บัญชาการกองพลพันท์เซอร์ 7 หน่วย กองพลยานยนต์ทหารราบ 3 หน่วย และกองพลทหารราบ 35 หน่วย

แกร์ท ฟ็อน รุนท์ชเต็ทได้รับการแต่งตั้งให้เป็นจอมพลเมื่อวันที่ 19 กรกฎาคม ค.ศ. 1940 และมีส่วนในการวางแผนปฏิบัติการสิงโตทะเล เมื่อแผนการบุกดังกล่าวถูกเลื่อนเวลาออกไป เขาจึงเป็นผู้บัญชาการกองกำลังยึดครองและได้รับมอบหมายให้สร้างแนวป้องกันทางทะเลตามชายฝั่งของเนเธอร์แลนด์ เบลเยียม และฝรั่งเศส

ปฏิบัติการบาร์บารอสซา

ระหว่างปฏิบัติการบาร์บารอสซา ตั้งแต่เดือนมิถุนายน ค.ศ. 1941 เขาได้รับมอบอำนาจบัญชาการกองทัพกลุ่มใต้ ซึ่งประกอบด้วยกองพลทหารราบ 52 หน่วย และกองพลพันท์เซอร์ 5 หน่วย บุกเข้าไปในสหภาพโซเวียต เมื่อถึงเดือนกันยายน กองทัพกลุ่มใต้สามารถยึดเคียฟ ในปฏิบัติการโอบล้อมสองครั้ง ทำให้สตาลินจำเป็นต้องละทิ้งเมืองไว้ กองทัพเยอรมันอ้างว่าตนสามารถจับเชลยศึกชาวโซเวียตได้กว่า 665,000 นาย หลังจากนั้น จึงเป็นผู้บัญชาการการโจมตีคาร์คอฟและรอสตอฟในเวลาต่อมา เขามีความเห็นคัดค้านการเดินหน้ารุกรานสหภาพโซเวียตต่อไปในฤดูหนาวและแนะนำให้ฮิตเลอร์สั่งหยุดการโจมตีไว้ก่อน แต่ข้อเสนอของเขาไม่ได้รับความเห็นชอบ

ในเดือนพฤศจิกายน ค.ศ. 1941 เขาเกิดอาการกล้ามเนื้อหัวใจขาดเลือด แต่เขาปฏิเสธที่จะได้รับการรักษาพยาบาล และยืนยันที่จะบัญชาการรบต่อไป หลังจากตีได้รอสตอฟ เมื่อวันที่ 21 พฤศจิกายน แล้ว แต่กองทัพเยอรมันถูกตีโต้กลับมา เขาจึงสั่งการให้กองทัพบางส่วนล่าถอย ฮิตเลอร์โกรธมาก จึงสั่งให้นายพลวัลเทอร์ ฟ็อน ไรเชอเนา บัญชาการรบแทน

แนวรบด้านตะวันตก

ฮิตเลอร์เรียกตัวแกร์ท ฟ็อน รุนท์ชเต็ท กลับเข้ารับหน้าที่ดังเดิมในกองบัญชาการกองทัพเยอรมันด้านตะวันตก ในเดือนมีนาคม ค.ศ. 1942 แต่การทำงานของเขาล่าช้า จนกระทั่งถึงฤดูใบไม้ผลิ ค.ศ. 1943 ก็ยังแทบไม่มีการสร้างป้อมปราการใดตามแนวชายฝั่งมหาสมุทรแอตแลนติกเลย จนเมื่อแอร์วีน ร็อมเมิล ได้รับมอบหมายมาอยู่ใต้บังคับบัญชาของเขา จึงค่อยได้เห็นความคืบหน้าการก่อสร้างบ้าง

ส่วนแผนการป้องกันทางทะเล เขาเห็นว่า ควรจะมีการจัดวางกำลังยานเกราะอยู่ในแนวหลัง เพื่อที่จะได้สั่งโจมตีพื้นที่ที่กองกำลังฝ่ายสัมพันธมิตรยกพลขึ้นบกมา แต่จอมพลรอมเมลไม่เห็นด้วยกับแนวความคิดดังกล่าว เขาเห็นว่า ควรจะจัดวางกำลังยานเกราะใกล้กับแนวชายฝั่ง โดยอยู่นอกวิถีของปืนใหญ่ฝ่ายสัมพันธมิตร ส่วนทางด้านฟ็อน รุนท์ชเต็ทถูกชักจูงให้เชื่อว่า การยกพลขึ้นบกตามแนวชายฝั่งทางด้านตะวันตกของฝรั่งเศสจะไม่เกิดขึ้น และควรจะมีการวางกำลังยานเกราะเพียงเล็กน้อยไว้ที่นั้น ทำให้มีกองกำลังยานเกราะเพียงสองกองพลป้องกันเขตนอร์ม็องดี ซึ่งก่อให้เกิดความสูญเสียมหาศาลเมื่อการโจมตีของฝ่ายสัมพันธมิตรมาถึง

หลังจากการยกพลขึ้นบกในนอร์ม็องดี เมื่อเดือนมิถุนายน ค.ศ. 1944 เขาได้กระตุ้นให้ฮิตเลอร์เจรจาสันติภาพกับฝ่ายสัมพันธมิตร แต่เมื่อเขาถูกปฏิเสธ ว่ากันว่า เขาได้ระเบิดออกมาว่า "สงบศึกซะ ไอ้โง่" ฮิตเลอร์ได้ปลดเขาออก และแทนที่โดยจอมพล กึนเทอร์ ฟ็อน คลูเกอ

กลางเดือนสิงหาคม ค.ศ. 1944 เขาได้รับตำแหน่งในกองบัญชาการกองทัพเยอรมันด้านตะวันตกอีกครั้งหนึ่ง เขาได้รวบรวมกองกำลังเพื่อต่อกรกับปฏิบัติการมาร์เก็ตการ์เดนอย่างรวดเร็ว และได้รับชัยชนะ เขาถูกปลดออกจากกองบัญชาการอีกครั้งหนึ่งในเดือนมีนาคม ค.ศ. 1945 เนื่องจากเขาบอกกับเคย์เทลว่า ฮิตเลอร์ควรจะเจรจาสันติภาพกับฝ่ายสัมพันธมิตร ดีกว่าสู้รบในสงครามอันสิ้นหวังนี้